Hoàng đế Minh Mạng từng cho xây dựng Pháo đài Phước Thắng tại nơi đây để kiểm soát cửa biển Cần Giờ.

Sau khi chiếm được quyền cai trị Đông Dương, chính quyền thực dân Pháp đã cho san phẳng pháo đài để xây dựng một dinh thự dùng làm nơi nghỉ mát cho các Toàn quyền Đông Dương.

Đề án được chính Toàn quyền Paul Doumer phê chuẩn và chính ông cũng là người đặt tên cho dinh thự này là Villa Blanche, theo tên của con gái ông là bà Blanche Richel Doumer.[1] Công trình được khởi công vào năm 1898, mãi đến năm 1902 mới hoàn thành. Do màu sơn bên ngoài cũng như tên gọi Villa Blanche nên người Việt quen gọi dinh thự này là Bạch Dinh.

Paul Doumer chưa kịp sử dụng dinh thự này thì phải về nước. Người kế nhiệm là Paul Beau có lẽ mới là người đầu tiên sử dụng nó. Tuy nhiên, đến tháng 9 năm 1907, nơi này được dùng làm nơi giam lỏng cựu hoàng Thành Thái. Ông sống tại đây trong gần 10 năm. Dân địa phương kính trọng ông, nên còn gọi Bạch Dinh là Dinh ông Thượng.

Năm 1916, cựu hoàng Thành Thái cùng con trai là cựu hoàng Duy Tân bị đưa đi đày ra đảo Réunion. Bạch Dinh được sử dụng trở lại là nơi nghỉ mát của các Toàn quyền Đông Dương. Năm 1934, Bạch Dinh được nhượng lại để làm nơi nghỉ mát cho Hoàng đế Bảo Đại và Hoàng hậu Nam Phương.

Trong những năm sau đó, dinh luôn được dùng làm nơi nghỉ mát của nguyên thủ hoặc các quan chức cao cấp của chính quyền Việt Nam Cộng hòa. Sau năm 1975, có thời gian dinh không được sử dụng vào mục đích cụ thể nào trước khi chính thức được chuyển thành một địa điểm du lịch. Ngày 4 tháng 8 năm 1992, Bạch Dinh đã được Bộ Văn hóa-Thông tin công nhận là Di tích lịch sử văn hóa quốc gia.